Xuất thân trong gia đình Công giáo, vì vậy từ nhỏ ông đã chịu phép Thanh Tẩy và mang tên thánh Phêrô. Năm 1928, ông theo học tại trường tiểu học Gendreau.[2] Ngay từ năm 8 tuổi, ông đã bắt đầu học nhạc với linh mục người Pháp P. Depautis (còn gọi là Cố Hương) và được tuyển vào ban hợp xướng Nhà thờ Lớn Hà Nội. Năm 1931, ông theo học bậc trung học tại trường dòng Lasan Puginier (còn gọi là trường Các sư huynh Dòng Thiện Giáo - Frères des Ecoles Chrétiennes de La Salle). Năm 1934, ông học nhạc dưới sự hướng dẫn của linh mục J. Bouis tại Tiểu chủng viện Thánh Phêrô Hoàng Nguyên ở Phú Xuyên, Hà Đông (nay thuộc Hà Nội), rồi sau đó là Đại chủng viện Xuân Bích (Saint Sulpice) ở Hà Nội.